Quality Evaluation of Requirements Models: The Case of Goal Models and Scenarios

Context: Requirements Engineering approaches provide expressive model techniques for requirements elicitation and analysis. Yet, these approaches struggle to manage the quality of their models, causing difficulties in understanding requirements, and increase development costs. The models’ quality should be a permanent concern. Objectives: We propose a mixed-method process for the quantitative evaluation of the quality of requirements models and their modelling activities. We applied the process to goal-oriented (i* 1.0 and iStar 2.0) and scenario-based (ARNE and ALCO use case templates) models, to evaluate their usability in terms of appropriateness recognisability and learnability. We defined (bio)metrics about the models and the way stakeholders interact with them, with the GQM approach. Methods: The (bio)metrics were evaluated through a family of 16 quasi-experiments with a total of 660 participants. They performed creation, modification, understanding, and review tasks on the models. We measured their accuracy, speed, and ease, using metrics of task success, time, and effort, collected with eye-tracking, electroencephalography and electro-dermal activity, and participants’ opinion, through NASA-TLX. We characterised the participants with GenderMag, a method for evaluating usability with a focus on gender-inclusiveness. Results: For i*, participants had better performance and lower effort when using iStar 2.0, and produced models with lower accidental complexity. For use cases, participants had better performance and lower effort when using ALCO. Participants using a textual representation of requirements had higher performance and lower effort. The results were better for ALCO, followed by ARNE, iStar 2.0, and i* 1.0. Participants with a comprehensive information processing and a conservative attitude towards risk (characteristics that are frequently seen in females) took longer to start the tasks but had a higher accuracy. The visual and mental effort was also higher for these participants. Conclusions: A mixed-method process, with (bio)metric measurements, can provide reliable quantitative information about the success and effort of a stakeholder while working on different requirements models’ tasks

Avaliação da qualidade em modelos de requisitos i*

As abordagens de engenharia de requisitos orientada a objetivos oferecem mecanismos que ajudam na elicitação e modelação de requisitos. A presente dissertação centra-se no framework i*, uma das mais importantes linguagens de especificação de modelos de requisitos orientados a objetivos, que conta com grupos de trabalho em mais de vinte países e com sete edições de workshops internacionais. Existem alguns problemas que podem afetar a qualidade de modelos i*. A sua criação pode resultar em modelos complexos e/ou incompletos, assim como incorretos devido ao mau uso da notação do i*. Estes problemas contribuem para a existência de dificuldades na gestão e compreensão dos sistemas de software o que, por sua vez, leva a um aumento dos custos de desenvolvimento. A qualidade dos modelos deve, então, ser uma preocupação constante, por forma a que sejam construídos modelos corretos, completos e cuja complexidade acidental seja minimizada. Não obstante a sua importância, a gestão eficaz destes três aspetos é, ainda, um problema em aberto. Nesta dissertação é proposto um conjunto de métricas para dar suporte à avaliação quantitativa dos atributos de qualidade complexidade, completude e correção nos modelos de requisitos i*. As métricas são definidas seguindo a abordagem Goal-Question- Metric, sendo definidas tanto de modo informal, em língua natural, como formalmente, em OCL (Object Contraint Language), e incorporadas numa ferramenta de modelação i* para que possam ser recolhidas de modo automático. As métricas são avaliadas experimentalmente, através de um conjunto de casos de estudo reais e académicos, e teoricamente, através de propriedades deWeyuker